Орлов А.И.
д.э.н., д.т.н., к.ф.-м.н., директор Института высоких статистических технологий и эконометрики, профессор МГТУ им. Н.Э. Баумана
prof-orlov@mail.ru

МЕТОДЫ АНАЛИЗА И ОЦЕНКИ РЕЗУЛЬТАТОВ НАУЧНОЙ ДЕЯТЕЛЬНОСТИ 
С ПОЗИЦИЙ КОНТРОЛЛИНГА НАУКИ

Ключевые слова: контроллинг, организационно-экономические методы, наукометрия, показатели продуктивности и результативности.
Keywords: controlling, organizational-economic methods, scientometrics, indicators of productivity and effectiveness.

Контроллинг науки - важная составная часть контроллинга организационно-экономических методов. Оценка продуктивности и результативности научной деятельности проводится повсеместно в вузах и научных организациях. Приведем перечень основных положений разрабатываемой нами новой области контроллинга - контроллинга науки. Докажем, что ключевой показатель результативности научной деятельности - число цитирований. Проанализируем распространенные заблуждения, связанные с оценкой эффективности научной деятельности. 

1. Введение

Определим используемые термины. Исходим из определения проф. С.Г. Фалько: "Контроллинг - это ориентированная на перспективу и основанная на измерении факта система информационно-аналитической и методической поддержки менеджмента в процессе планирования, контроля, анализа  и принятия управленческих решений, обеспечивающая координацию и интеграцию подразделений и сотрудников по достижению поставленных целей". Короче, система контроллинга – это система информационно-аналитической поддержки процесса принятия управленческих решений в организации.  Приведем еще одну формулировку С.Г. Фалько: "Сегодня контроллинг в практике управления российских предприятий понимается как «система информационно-аналитической и методической поддержки по достижению поставленных целей»". Контроллер разрабатывает правила принятия решений, руководитель принимает решения, опираясь на эти правила.
В современных условиях научное направление "Контроллинг" выделяется не только своей активностью, но и быстрым интенсивным и экстенсивным ростом. Расширяется многообразие конкретных областей применения концепций контроллинга, разрабатываются новые интеллектуальные инструменты контроллинга. 
В настоящее время часто используют скрытый контроллинг, т.е. контроллинг под псевдонимами. Так, работы по информационно-аналитической поддержке процесса принятия управленческих решений в организации проводились с давних времен, задолго до появления термина "контроллинг". Например, для принятия решений в военной области необходима информация о числе военнообязанных. О переписи военнообязанных рассказано в Ветхом Завете в Четвертой книге Моисеевой "Числа". При обсуждении этой переписи уместно использовать термины "статистические методы", "эконометрика", "контроллинг", однако этих появившихся позже терминов нет в Библии.
Однако и после появления рассматриваемых терминов они не всегда используются. В одних организациях действуют службы контроллинга, в других информационно-аналитические подразделения носят иные названия, ведущие свое происхождение, например, от аналитических центров и отделов по разработке и эксплуатации автоматизированных систем управления. 
Псевдонимы используют не только для контроллинга. Термин "эконометрика" стал применяться в нашей стране начиная с 1990-х годов, хотя работы, посвященные статистическим методам в экономике и управлении (т.е. эконометрике в современном понимании), весьма активно велись еще в XIX в..

2. Контроллинг организационно-экономических методов

Инновации в сфере управления в промышленности и других отраслях народного хозяйства основаны, в частности, на использовании новых адекватных организационно-экономических методов. Контроллинг в этой области – это разработка процедур управления соответствием используемых и вновь создаваемых (внедряемых) организационно-экономических методов поставленным задачам. В деятельности управленческих структур выделяем интересующую нас сторону – используемые ими организационно-экономические методы. Такие методы рассматриваем с точки зрения их влияния на эффективность (в широком смысле) процессов управления промышленными предприятиями и организациями других отраслей народного хозяйства, в частности, научно-исследовательскими институтами. Если речь идет о новых методах (для данного предприятия), то их разработка и внедрение – организационная (управленческая) инновация, соответственно контроллинг организационно-экономических методов можно рассматривать как часть контроллинга инноваций [8]. 
В ряде работ мы обосновываем выделение в контроллинге новой области – контроллинг организационно-экономических методов - и обсуждаем содержание этой области. По нашему мнению, В соответствии со сказанным в [4, 11] следует говорить не только и не столько о методах, сколько об инструментах контроллинга, прежде всего математических (или экономико-математических, учитывая направленность на решение задач экономики и управления).

3. Новая область контроллинга - контроллинг науки

Необходимость принятия обоснованных управленческих решений возникает в самых разных областях человеческой деятельности. Правила принятия таких решений - компетенция структур контроллинга, даже если они действуют под другими названиями. 
Нашим творческим коллективом проведены исследования в области контроллинга (явного и скрытого) в ряде научных и прикладных областей В частности, рассмотрены проблемы контроллинга рисков, научной деятельности, персонала, качества, организационно-экономического обеспечения решения задач управления в аэрокосмической отрасли, экологической безопасности, контроллинга агропромышленного комплекса. Методы принятия управленческих решений во всех перечисленных областях имеют много общего.
Перейдем к обсуждению одной из перечисленных областей - контроллингу науки (научной деятельности). В настоящее время оценка продуктивности и результативности научной деятельности проводится повсеместно в вузах и научных организациях. Поэтому контроллинг инструментов управления научной деятельностью (как составная часть контроллинга организационно-экономических методов) представляет как теоретический, так и практический интерес.
Мы с 1970-х годов занимаемся разработкой ряда проблем контроллинга науки. Конкретные результаты приведены в многочисленных статьях, прежде всего выпущенных начиная с 2013 г.. Промежуточные итоги подведены в монографии 2017 г.. Рецензия на эту монографию интересна тем, что в ней дан перечень основных положений разрабатываемого нами контроллинга науки. Обсудим этот перечень.
Основные положения наукометрии были сформулированы В. В. Налимовым и З. М. Мульченко еще в 1969 г.. По нашей оценке, с тех пор в теоретической наукометрии единственным заметным, но сомнительным новшеством является появления в 2005 г. так называемого «индекса Хирша». Однако прикладная наукометрия обогатилась большим числом инструментов, использующих разнообразные информационно-коммуникационные технологии, в частности, технологии больших данных (big data). Примером является Российский индекс научного цитирования (РИНЦ). 
Наукометрические данные используют при управлении научной деятельностью, коллективами НИИ и вузов. Однако такое использование не всегда является обоснованным. К сожалению, к ошибочным решениям приводят распространенные догмы в области управления научной деятельностью. Данное ниже обсуждение этих догм основано как на проведенных исследованиях, так и на личном опыте исследователя. Согласно РИНЦ, автор настоящей работы - один из наиболее цитируемых отечественных ученых по направлениям "Математика" и "Экономика. Экономические науки". Согласно В.В. Налимову, вклад ученого в фундаментальную науку оценивается числом цитирований его работ. 
Распространены разнообразные догмы, приводящие к необоснованным управленческим решениям, наносящим вред отечественной науке. Например, многие лица:
- считают публикации в научных журналах основным видом научных публикаций;
- верят в реальное существование «мировой науки»;
- отдают приоритет публикациям в зарубежных журналах, индексируемых в базах библиометрических данных WoS и Scopus;
- основным наукометрическим показателем без каких-либо обоснований считают индекс Хирша;
- отрицательно относятся к самоцитированию;
- игнорируют публикации старше 5 лет, в частности, при расчете импакт-факторов журналов, и т. д.
Опубликовать статью на английском языке за рубежом — это возможность продемонстрировать, как ценят автора этой статьи во всем мире. И совсем неважно, что для соотечественников знакомство с этой статьей будет затруднено. Зато специалисты в странах, являющихся геополитическими конкурентами нашей страны, совершенно бесплатно получают в свое распоряжение научные результаты, выполненные на деньги российских налогоплательщиков.
Кому выгодна глобализация? В современных условиях — геополитическим конкурентам нашей страны. Патриотизм означает, что заботиться прежде всего о своей стране, а не о геополитических конкурентах.

4. Показатели продуктивности и результативности научной деятельности

Обсудим часто используемые показатели продуктивности и результативности научной деятельности.
Управление наукой на основе числа публикаций в рецензируемых журналах (именно в журналах!) и индексов цитирования в журналах объективно замедляет развитие науки, переход полученных результатов в область практического применения, поскольку замедляет выход монографий и учебников. Действительно, как только научный результат попадает в учебник, ссылаться начинают на этот учебник, а не на исходные статьи, и наукометрические показатели автора результата перестают расти. Зачем же тратить силы на написание учебника? 
Публикации в научных журналах являются наименее значимым типом научных публикаций. Естественная цепочка развития научного результата такова: тезисы доклада — тематический сборник — монография — учебник — широкое использование. Для развития нового направления публикации в научных журналах, вообще говоря, не нужны». 
Необоснованность некоторых широко распространенных утверждений поражает. Например, на основе данных библиографической базы Scopus утверждают, что вклад России в мировую науку составляет порядка 1%. Однако в указанную базу включено более 6000 американских журналов и только около 200 — российских (а только в «списке ВАК» — несколько тысяч журналов). Чему же удивляться — просматривается один российский журнал на 30 американских! Если сделать естественную поправку — умножить на 30 — то получим, что оценка доли России — 30 %, что вполне сопоставимо с американской долей (28,7 %).
Для успешного ведения научной работы обычно вполне достаточно литературы на русском языке, цитирование иностранных источников — зачастую дань моде, а не необходимый элемент исследования. Вытекает это, в частности, из наличия огромного объема научных публикаций на русском языке.
В последние годы интерес к проблемам управления наукой заметно вырос. Как следствие, вспух поток публикаций по вопросам оценки эффективности научной деятельности. Кратко сформулируем нашу позицию по ряду часто обсуждаемых вопросов.
Отметим полезность и необходимость самоцитирования. 
Нельзя оценивать научную деятельность только по числу публикаций. 
Ключевой показатель результативности - число цитирований. 
Основная проблема современной науки состоит во всеобщем невежестве научных работников. 
Тезис В. В. Налимова о «незримых коллективах» [18] приводит к неизбежности и праве на существование «региональной науки» и заключению о снобизме «столичной науки». 
«Мировая наука» — это миф. Сильная сторона современной отечественной фундаментальной науки — ее самодостаточность. Для получения нужных стране научных результатов мировая наука российским исследователям практически не нужна. Более того, возвеличивание «мировой науки» — это вредный миф, поддерживаемый врагами России с целью выкачивания ресурсов из нашей страны. О реальной роли "мировой науки" размышляет С.Н. Гринченко.
Прокомментируем первый из приведенных тезисов. Подчеркнем, что активное самоцитирование научных организаций и научных сотрудников — показатель их передового положения в науке, наличия научных школ, перспективных научных направлений. Действительно, только начинающий исследователь в своей первой публикации на себя не может сослаться. По мере продвижения уменьшается значение чужих работ, зато резко увеличивается необходимость ссылок на свои публикации. Во-первых, с целью опоры на ранее полученные результаты. Во-вторых, с целью демонстрации связи своих новых результатов со старыми. С самоцитированием не следует бороться, его надо поощрять. 
Понятие «мусорных журналов», т.н. «мурзилок», пропагандируется загнившей частью научного сообщества с целью принижения новых научных направлений и журналов, особенно действующих вне Москвы. Цель такого принижения — переключение потока направляемых в печать статей и соответствующих финансовых потоков на столичные центры, в настоящее время теряющие свои творческие потенции.

Выводы

Контроллинг науки, как и контроллинг в целом, - быстро растущая область теоретических и прикладных исследований. 
Однако информация о научных достижениях распространяется медленно. 
Необходимо резко ускорить распространение информации о полученных научных результатах.